Transcript vs Outcome

概述

Transcript vs Outcome 是 Agent 评测中的核心区分概念，强调好的评测应验证环境的实际最终状态（Outcome），而非 Agent 的自我报告（Transcript 声明）。

关键内容

1. Transcript（记录/轨迹）：
2. Agent 在 Trial 中的完整行为记录，包含所有工具调用和对话
3. 代表 Agent"做了什么"和"说了什么"

4. 局限：Agent 可能声称完成任务但实际没有

5. Outcome（结果）：

6. Trial 结束时环境的实际最终状态
7. 代表"实际发生了什么"

8. 优势：客观事实，不依赖 Agent 自我报告

9. 典型案例：

10. 航班预订 Agent 说"您的航班已预订"（Transcript 声明）
11. 评测者检查 SQL 数据库中是否存在预订记录（Outcome 验证）

12. 前者是 Agent 自我报告，后者是客观事实

13. 设计原则：

14. 好的评测验证 Outcome，不相信 Transcript 声明
15. 避免检查 Agent 是否按特定步骤执行（路径评测）
16. 评测产出，不是路径：Agent 经常找到评测设计者没有预期的有效方法

17. Opus 4.5 案例：发现评测策略漏洞并利用，技术上"失败"但实际找到更优解

18. 工程实践：

19. 结果验证评分器：检查 DB 状态、文件系统、API 响应等
20. 需要可访问的持久化状态
21. 最接近真实用户体验的评测方式

来源

• raw/articles/ai-engineering/anthropic-engineering/claude-engineering/12_demystifying_evals.md — 核心概念体系章节

相关

• Agent 评测体系 — part_of（Transcript vs Outcome 是评测体系的核心概念）
• 评分器设计 — uses（结果验证是评分器设计的重要方法）
• 评测驱动开发 — uses（Outcome 验证是评测设计的核心原则）